你有沒有想過什麼robots在你的網站作用是什麼？
<meta name =”robots” content=”index”>
到底是什麼！？難道你的自動化meta標籤的機器人？
它是一塊神奇的SEO標籤？召喚google機器人到您的網頁？
robots標籤是告訴搜索引擎蜘蛛哪些不用爬行。
它是在你的網頁的<head>部分的一段代碼。
這是一個簡單的代碼，讓你來決定你想從搜索引擎爬蟲哪些頁面該隱藏。
如果你沒有一個robots標記時不要驚慌。
默認情況下，搜索引擎的抓取會索引你網站的全部頁面，並會跟隨鏈接。
基本上，robots標籤可以讓搜索引擎蜘蛛改變的幾個主要功能：
● follow - 瀏覽連結並分析目標網頁
● index - 檢索網頁
● cache - 允許搜尋引擎顯示內容的快取版本
● nocache - 不允許搜尋引擎顯示內容的快取版本
● noodp - 不使用開放式目錄專案來建立內容描述
● noydir - 不使用 Yahoo 目錄來建立內容描述
● noarchive - 不允許搜尋引擎顯示內容的快取版本
很簡單，不是嗎？如果你問我，robots標記是在你的網站的搜索引擎優化的小東西
你可以用它來控制你的谷歌蜘蛛爬行規則。
小編個人基本上不使用noindex但我有時使用nofollow的
不要問為什麼，這是個人。